-
Leveraging Skill-to-Skill Supervision for Knowledge Tracing
Leveraging Skill-to-Skill Supervision for Knowledge Tracing (주) 튜링에서 작성하여 AAAI2023 AI4ED 학회에서 발표한 논문입니다 (링크). 기존 Knowledge Tracing의 한계를 짚어보고, 이를 해결하는 방법을 논문으로 작성하였습니다. 만약 Knowledge Tracing이 무엇인지 모르신다면, Riiid Techblog의 글을 보고 오시길 추천드립니다. 기존의 Knowledge Tracing Knowledge Tracing이란, 사용자가 어떤 문제를 풀려고 할 때 사용자가 그 동안 어떤 학습 기록을 가졌는지 살펴보고 사용자가 문제를 맞힐 확률을 예측하는 과제입니다. 현재 대부분의 Knowledge tracing은 아래와 같은 입·출력 구조를 가집니다. 입력: 사용자가 푼 문제의 리스트,...
Jinwoo Nam's profile imageJinwoo Nam
2023-06-12 13:00
-
Context-Aware Attentive Knowledge Tracing
Knowledge Tracing과 그를 위한 Attention mechanism에 대한 지식이 없으시다면, 아래의 Riiid Teamblog 글을 읽고 오시길 추천합니다: Deep Knowledge Tracing Attention Mechanism for Knowledge Tracing 문제 제기 먼저 AKT는 기존의 논문들(특히, DKT 계열: SAKT, DKVMN등)이 제대로 반영하지 못한 세 가지 학습 특성을 지적하고 있습니다 1. Concept도 중요하지만, 개별 Problem간의 차이도 중요하다. 원문: questions labeled as covering the same concept are closely related but have important individual differences that should not be ignored. 위의 그림과 같이, 같은...
Jinwoo Nam's profile imageJinwoo Nam
2023-01-11 13:00
-
Unsupervised Natural Language Video Localization
Project Description ICCV 2021 Accepted as Oral Paper!! 자세한 내용을 추후 업데이트 하겠습니다. NC소프트에서 지원받아 변리사님과 함께 국내 특허를 출원하였습니다. (출원번호 10-2021-0076124) Natural Language Video Localization (NLVL)은 위의 영상과 같이 비디오와 자연어 쿼리가 주어졌을 때 비디오에서 쿼리가 가리키는 부분을 찾아내는 문제입니다. 앞선 포스트에서는 이 문제를 Fully-supervised learning을 통해 해결하였습니다. 그러나 이러한 접근법은 필연적으로 엄청난 양의 데이터를 모아야 한다는 단점이 있습니다. 특히, NLVL을 위해서는 (비디오, 자연어 쿼리, 쿼리가 가리키는 영역)의 삼중쌍을 모아야 하나, 이러한 형태의 데이터는...
Jinwoo Nam's profile imageJinwoo Nam
2021-01-10 22:00
-
Natural Language Video Localization
Project Description NC소프트로부터 좋은 기회를 얻어 진행하게 된 프로젝트입니다. Natural Language Video Localization (NLVL)은 위의 영상과 같이 비디오와 자연어 쿼리가 주어졌을 때 비디오에서 쿼리가 가리키는 부분을 찾아내는 문제입니다. 다시 말해, 문제의 Input과 Output은 다음과 같습니다. Input 랜덤한 길이의 비디오 비디오의 한 부분을 가리키는 자연어 문장 (e.g. “A person is sitting at a table eating a sandwich”) Output 비디오에서 자연어가 가리키는 구간 정보 (e.g. “8s~13s”) 프로젝트 목표 프로젝트는 NLVL을 위해 개발된 DiDeMo[1] 데이터셋에서 Stat-of-the-art 성능을 달성하는...
Jinwoo Nam's profile imageJinwoo Nam
2020-09-09 22:00
-
Large Image Obfuscation
현재 실제 한 기업의 서비스와 큰 관련이 있습니다. 많은 디테일이 생략되었습니다. 이 포스트를 읽기 전에, 이전 포스트를 먼저 읽고 와 주세요. Obfuscation for Large Image 이전 포스트에서, 우리는 성공적으로 이미지를 비식별화 하여 이미지 활용성 과 익명성 의 두 가지의 목표를 모두 달성하는 것을 보았습니다. 그러나, 이전 포스트의 Obfuscator는 실제로 현장에서 사용하기엔 많은 무리가 있습니다. 단순히 개념 실증을 위해 만든 모델이어서, Obfuscator가 크기 128*128 이상의 이미지에서는 잘 작동하지 않기 때문입니다. 일반적으로, 이전 포스트의 모델을 128*128 이상의...
Jinwoo Nam's profile imageJinwoo Nam
2019-10-01 22:00
-
PyTorch-MFCC
Project Description: MFCC for PyTorch 디테일한 내용을 생략하고 후기로 넘어가려면 여기를 클릭 MFCC는 현재 가장 인기 있는 오디오 특징값 추출 알고리즘입니다 (알고리즘에 대한 자세한 설명은 여기를 참조). 특히 이 알고리즘은 최근 음성인식/장르인식 등을 위한 기계학습 모델에서 오디오 데이터의 전처리 기법으로 널리 사용되고 있습니다. 그러나 2019년 6월 현재 PyTorch에서는 이 알고리즘을 지원하지 않고 있습니다. 현재 MFCC는 python_speech_features와 같은 라이브러리를 통해 추출되고 있으나, 이들은 PyTorch와의 호환성이 없어 PyTorch의 강력한 Autograd를 사용할 수 없다는 치명적인 약점이 있습니다. 이...
Jinwoo Nam's profile imageJinwoo Nam
2019-08-17 22:00
-
Image Obfuscation
현재 실제로 기업에서 사용 중인 프로젝트입니다. 많은 디테일이 생략되었습니다 Image Obfuscation Image Obfuscation에 대한 내용은 Deeping Source Inc.의 공식 문서를 참조 Objective Image obfuscation은 이미지 데이터셋을 처리하여 이미지가 다음의 두 가지 성질을 만족하도록 하는 것입니다. 익명성: 이미지 내부의 개인정보(얼굴 등)은 사람이 알아볼 수 없는 형태로 가공되어야 하며, 제 3자가 원본을 복원할 수도 없어야 합니다. 데이터 활용도: 어떤 특정 Task에 대하여 (e.g. Facial landmark detection, gaze estimation), 익명화된 이미지로 해당 task를 다루는 기계학습 모델을 학습시키더라도 원본...
Jinwoo Nam's profile imageJinwoo Nam
2019-05-15 22:00
-
Image-in-Image Steganography
Image-in-Image Steganography 대학원에 입학하고 처음으로 수행한 온보딩 프로젝트입니다. 위의 그림과 같이, 이미지 스테가노그래피는 이미지 속에 다른 정보 (텍스트, 이미지 등)를 숨기되 이미지 속에 정보가 숨어 있다는 사실을 다른 사람이 알지 못하게 하는 Task입니다. 일반적인 암호화는 정보를 알아보지 못하게 하는 것을 목표으로 하나, 스테가노그래피는 정보가 숨겨져 있다는 사실 자체를 모르게 한다는 부분에서 암호화와 차이가 있습니다. 현재 스테가노그래피 관련 연구는 이미지 안에 텍스트를 숨기는 기법에 집중되어 있습니다[1]. 이미지 안에 텍스트를 숨길 경우 픽셀당 숨겨지는 정보량(bpp, bits per...
Jinwoo Nam's profile imageJinwoo Nam
2019-02-18 22:00